Bedingte Entropie

In der Informationstheorie ist die bedingte Entropie ein Maß für die „Ungewissheit“ über den Wert einer Zufallsvariablen ${\displaystyle X}$, welche verbleibt, nachdem das Ergebnis einer anderen Zufallsvariable ${\displaystyle Y}$ bekannt wird. Die bedingte Entropie wird ${\displaystyle H(X|Y)}$ geschrieben und hat einen Wert zwischen 0 und ${\displaystyle H(X)}$, der ursprünglichen Entropie von ${\displaystyle X}$. Sie wird in der gleichen Maßeinheit wie die Entropie gemessen.

Speziell hat sie den Wert 0, wenn aus ${\displaystyle Y}$ der Wert von ${\displaystyle X}$ funktional bestimmt werden kann, und den Wert ${\displaystyle H(X)}$, wenn ${\displaystyle X}$ und ${\displaystyle Y}$ stochastisch unabhängig sind.